data 基盤の 3 層 architecture

data lake は生 data を集めたもの

法的要件 (しないと罰則がある) を除けば、data を變換しては意味が無い

data lake の概念は ELT (Extract-Load-Transform) が前提

data warehouse は domain 知識を反映して data lake を適切に整理したもの

近い data は同じ table に join しておくとか

default 値を埋めるとか分析に使ふ定數を置いておくとか

domain 知識に基づいて view を作っておくとか

「ETL より ELT」と考へると、data の變換保存はしないのが好ましい。變換は view で

特定の用途向けに使ひ易くした data

KPI dashboard とかは、data warehouse から data mart を作って、data mart から dashboard を作る、のがよい